Jimmy là con trai của James Patrick Page và Patricia Elizabeth Page (nhũ danh Gaffikin)[12]. Họ sống ở phía Tây London, gần Heston, nay trở thành một phần của khu Hounslow, London. Ông James Patrick là một quản lý nhà máy, trong khi bà Patricia, một người phụ nữ gốc Ireland[13], là một y tá. Năm 1952, gia đình họ chuyển tới Feltham rồi sau đó tới Miles Road, Epsom ở Surrey, nơi mà cậu bé Jimmy lần đầu được tiếp xúc với guitar. "Tôi không biết rằng họ đã để lại [chiếc guitar] trong căn nhà trước đó, hoặc rằng đã có người bạn nào đó của gia đình đã làm vậy – nhưng không một ai biết vì sao nó ở đó."[14] Lần đầu cậu thực sự chơi guitar là ở tuổi 12[15] khi cậu trải qua vài giờ học ở Kingston, nhưng chủ yếu Jimmy tự học guitar:

"Khi còn nhỏ xung quanh tôi không có nhiều người chơi guitar... Một trong số những tay guitar ở trường đã chỉ cho tôi những hợp âm đầu tiên, tôi đã học và tập theo anh ta. Tôi thấy việc đó khá nhàm chán, vậy nên tôi tự mày mò qua việc nghe những bản thu. Khách quan mà nói thì đó là một quá trình rất cá nhân."[16]

Những người đầu tiên ảnh hưởng tới Page là 2 nghệ sĩ rockabily Scotty Moore và James Burton – những người từng tham gia thu âm cùng Elvis Presley. Ca khúc "Baby Let's Play House" của Presley thường được Page nhắc tới như là niềm cảm hứng chơi guitar của cá nhân mình[17]. Cho dù từng được lên truyền hình trên kênh BBC1 vào năm 1957 với cây Hofner President, Page sau này vẫn nói chiếc guitar đầu tiên của ông là chiếc 1959 Futurama Grazioso, rồi sau đó là cây Fender Telecaster[18].

Phong cách âm nhạc của Page pha trộn giữa skiffle (phong cách chủ đạo trong âm nhạc Anh vào thời điểm đó) và nhạc folk acoustic hòa lẫn với những âm thanh nhạc blues từ Elmore James, B.B. King, Otis Rush, Buddy Guy, Freddie King và Hubert Sumlin[19]. "Về cơ bản, sự khởi đầu là việc pha trộn rock với blues."[17] Ở tuổi 13, Page tham gia chương trình tìm kiếm tài năng thiếu niên All Your Own của Huw Wheldon với phần trình diễn nhạc skiffle, sau đó được phát sóng trên kênh BBC1. Ban nhạc của cậu chơi ca khúc "Mama Don't Want to Skiffle Anymore" và một ca khúc nhạc Mỹ "In Them Ol' Cottonfields Back Home". Khi được Wheldon hỏi tương lai mà mình muốn sau khi ra kết thúc việc đi học, Page đã trả lời "Cháu muốn làm nghiên cứu sinh" để chữa trị "ung thư, nếu lúc đó vẫn chưa ai tìm ra phương pháp".

Sau này khi được phỏng vấn trên tờ Guitar Player, Page nhớ lại "hồi đó tôi lang thang đi diễn rất nhiều, và như họ nói, tôi lúc nào cũng trông như đang đi du lịch, nhưng đó là một cách học rất tốt"[17]. Page vẫn mang đàn guitar hàng ngày tới trường, nhờ người khác trông giúp rồi trả lại cậu vào cuối giờ học[20]. Cho dù từng đi phỏng vấn để có được chân quản thư ở thư viện, cậu cuối cùng quyết định rời bỏ ngôi trường Danetree Secondary School, Tây Ewell để theo đuổi con đường âm nhạc[20].

Ban đầu, Page rất khó khăn để gặp gỡ những nghệ sĩ guitar có chung quan điểm âm nhạc. "Lúc đó có lẽ không tồn tại một sự đa dạng như tôi từng nghĩ. Tôi đã chơi cho rất nhiều nhóm... và thật sự không một ai có thể tìm thấy một tiếng nói chung."[18] Sau khi thôi việc chơi nhạc trong những chương trình giao lưu của nhà thơ Royston Ellis tại nhà hát Mermaid trong khoảng năm 1960-1961[21], rồi của ca sĩ Red E. Lewis, Page được ca sĩ Neil Christian đề nghị gia nhập nhóm của mình, The Crusaders, sau khi Christian nhìn thấy cậu nhóc 15 tuổi chơi đàn tại sảnh lớn[18]. Page đi tour cùng Christian suốt 2 năm sau đó, tham gia vào nhiều bản thu cùng ban nhạc, trong đó có đĩa đơn "The Road to Love".

Sau đó, Page bị ốm nặng do dính phải bệnh sốt tuyết truyền nhiễm nên quyết định dừng việc đi tour[18]. Trong thời gian điều trị, cậu quyết định tạm ngừng việc chơi guitar để dành cho một tình yêu khác – hội họa – và đăng ký tại Trường Nghệ thuật Sutton ở Surrey[5]. Sau này ông giải thích vào năm 1975:

"Tôi đã đi khắp mọi nơi trên chiếc xe bus. Tôi đã làm việc đó trong suốt 2 năm sau khi rời khỏi trường, chu du tới những nơi mà tôi được ăn thứ bánh mỳ hảo hạng. Nhưng rồi tôi bị bệnh nặng. Vậy nên tôi quyết định quay trở lại trường nghệ thuật. Và điều đó đã thay đổi mọi thứ. Tôi thấy rằng việc thành công với nó là hoàn toàn khả thi. Vì tôi đã tự chọn cho mình con đường sống với chiếc guitar, tôi càng hiểu rõ hơn rằng tôi sẽ làm điều đó suốt đời. Nhưng cứ 2 tháng thì tôi lại lên cơn sốt. Trong suốt 18 tháng tôi chỉ sống với 10 $ mỗi tuần và buộc phải hồi phục sức khỏe. Nhưng tôi vẫn luôn chơi nhạc."[15]